Chỉ sau một thời gian ngắn, ông trở nên nổi tiếng với những nhạc phẩm tình cảm lãng mạn, trong số có những nhạc phẩm tiền chiến như: "Tà áo xanh", "Trở về bến mơ", "Em tôi", "Hoài cảm", "Cô láng giềng"... Đến nay một số ca khúc như "Mắt biếc", "Chuyện tình buồn", "Niệm khúc cuối", "Chiếc lá cuối cùng"... có người cho rằng không có ca sĩ nào để lại nhiều ấn tượng và cảm xúc như giọng hát của Sĩ Phú.

Mặc dù nổi tiếng, nhưng coi việc ca hát chỉ là nghề phụ, Sĩ Phú rất ít xuất hiện trong các sân khấu nhạc hội hay vũ trường ở Sài Gòn, nhưng ông thường hát trong những chương trình ca nhạc tổ chức tại Câu lạc bộ Không quân ở phi trường Tân Sơn Nhất.